PyTorch 中对参数管理

在PyTorch中，模型的参数管理是通过 nn.Module 类来实现的。当你创建一个模型并继承 nn.Module 时，该模型会自动跟踪其所有子模块和参数。以下是一些关于参数管理的常见操作和方法：

1. 获取模型的所有参数：

使用parameters()方法可以获取模型的所有参数（包括权重和偏置）。

model = nn.Sequential(
    nn.Linear(10, 20),
    nn.ReLU(),
    nn.Linear(20, 10)
)

for param in model.parameters():
    print(param.size())

2. 获取模型的特定参数：

使用named_parameters()方法可以获取模型的所有参数及其名称。

for name, param in model.named_parameters():
    print(name, param.size())

3. 冻结模型的部分参数：

如果你想在训练过程中固定（或冻结）模型的某些参数，可以设置参数的requires_grad属性为False。

# 冻结第一层的参数
for param in model[0].parameters():
    param.requires_grad = False

4. 获取和设置模型参数的值：

每个参数都是一个torch.Tensor对象，因此你可以使用常规的tensor操作来获取和设置其值。

# 获取第一层的权重
weights = model[0].weight

# 将第一层的权重设置为零
model[0].weight.data.zero_()

5. 保存和加载模型参数：

PyTorch提供了简单的方法来保存和加载模型的参数。

# 保存模型参数
torch.save(model.state_dict(), 'model_weights.pth')

# 加载模型参数
model.load_state_dict(torch.load('model_weights.pth'))

注意：state_dict()方法返回模型的参数和持久缓冲区（如批处理归一化的运行平均值）的字典。

6. 使用Parameter类：

在自定义模块中，如果你有一个tensor并希望它成为模块的参数（即需要梯度），你应该使用nn.Parameter来将其包装起来。

class CustomModule(nn.Module):
    def __init__(self):
        super(CustomModule, self).__init__()
        self.my_param = nn.Parameter(torch.randn(10, 20))

总的来说，PyTorch提供了一系列工具和方法来简化模型参数的管理和操作。这使得定义、训练和调整模型变得非常简单和直观。